3.1.1 사용한 패키지

library(rvest)      # html 크롤링시 사용
library(tidyverse)  # 정제 필수 패키지
library(DT)         # 동적 테이블 시각화

# API 호출 관련
library(httr)       
library(XML)

# 공간자료화 및 시각화
library(sf)
library(rgdal) # .rmd 상에서 필요
library(tmap)
library(leafem) # leaflet

3.1.2 자료의 출처

해당 문서에서 정제한 올리브영 자료는 2020년 7월 19일 기준입니다.

해당 자료는 올리브영 매장안내에서 구득하였습니다.

올리브영 웹 페이지에 게시된 서울시 매장 목록을 사용할 목적으로 html 크롤링을 시도하였으나

위와 같이 스크롤을 모든 항목이 나타날 때까지 해야 되므로, 아래와 같이

스크롤을 하여 모든 항목을 불러온 뒤, 해당 요소를 ’Notepad++’을 사용하여 별도의 html 파일을 생성하였습니다.

3.1.3 정제 과정

먼저, 생성한 html을 블러왔습니다.

library(rvest)

html.olive <- read_html("./data/olive.html",
                        encoding = "UTF-8")

불러온 html에서 이름과 주소, 전화번호를 추출한 뒤, 하나의 데이터프레임을 만들었습니다.

library(tidyverse)

name <- html_nodes(html.olive, css="a") %>% 
  str_remove('<a href="javascript:;">') %>%
  str_remove('</a>')

addr <- html_nodes(html.olive, css=".addr") %>% 
  str_remove('<p class="addr">') %>%
  str_remove('</p>')


ph.numb <- html_nodes(html.olive, css=".call") %>% 
  str_remove('<div class="call">') %>%
  str_remove('</div>')


olive <- cbind(name,addr,ph.numb) %>% 
  as.data.frame(stringsAsFactors=FALSE)

head(olive)

            name                                                  addr
1   은행사거리점 서울특별시 노원구 한글비석로 264 중계그랜드프라자 1층
2       중계역점                서울특별시 노원구 동일로 1335 (상계동)
3 노원역사거리점                          서울특별시 노원구 노해로 480
4         노원점               서울특별시 노원구 상계로 65 105호,106호
5 홈플러스중계점 서울특별시 노원구 동일로204가길 12 홈플러스중계점 1층
6     상계보람점                      서울특별시 노원구 한글비석로 471
      ph.numb
1 02-938-9305
2 02-930-2952
3 02-934-5123
4 02-935-5290
5 02-948-6960
6 02-930-2532

위 데이터프레임을 바로 뒤에 언급할 지오코딩 툴을 사용하여 잘못된 주소를 바로잡았습니다.

olive$addr[110] <- as.character("서울특별시 강동구 천호대로 997 지하 1층, 천호엔터식스 012호")
olive$addr[113] <- as.character("서울 종로구 송월길 99 경희궁자이 202동 2132호")
olive$addr[142] <- as.character("만리동2가 229-1")
olive$addr[156] <- as.character("서울 강남구 가로수길 5 1층 올리브영 가로수길입구점")
olive$addr[219] <- as.character("서울특별시 서초구 반포동 19-11")
olive$addr[290] <- as.character("서울특별시 동작구 동작대로 3")
olive$addr[368] <- as.character("서울특별시 강동구 성내로 89")
olive$name[368] <- as.character("티지에스플러스(준비중)")

다음의 표에서 검색도 가능합니다.

library(DT)

datatable(olive, caption = "서울특별시 올리브영 매장 목록", filter = "top")

3.1.4 지오코딩

네이버 클라우드에서 제공하는 지오코딩 API 서비스를 사용하여 좌표를 부여하였습니다.
- 네이버 클라우드

앞서 언급하였듯이, 지오코딩 루프를 돌리면서 주소를 통하여 좌표를 잡지 못하는 데이터를 수정하는 방식으로 주소 무결성 또한 확인하였습니다.

library(httr)
library(XML)

#Client ID 설정 
clientId <- "k8g52bouny"

#Client Secret 설정
clientSecret <- "Kadl4ZjbFOhhXXk7806OA24h7sdSEaDYuczHAgaD"



x <- vector(mode = "double", length(olive$addr))
y <- vector(mode = "double", length(olive$addr))

for (i in 1:length(olive$addr)){
  #print(i)
  apiResult <- httr::GET( 
    url = "https://naveropenapi.apigw.ntruss.com/map-geocode/v2/geocode", 
    httr::add_headers(
      `X-NCP-APIGW-API-KEY-ID` = clientId, 
      `X-NCP-APIGW-API-KEY` = clientSecret
    ),
    query = list(
      `query` = olive$addr[i]
    )
  )
  if (apiResult$status_code == "200"){
    #print("ResultCode OK!")
    result <- rawToChar(apiResult$content)  
    Encoding(result) <- "UTF-8"
    list <- xmlToList(result)
    
    u <- as.numeric(list$addresses$x)
    v <- as.numeric(list$addresses$y)
    
    x[i] <- u
    y[i] <- v
    
    
  }else if (apiResult$status_code == "400"){
    print(paste("Bad Request Exception in",olive$name[i]))
    
  }else if (apiResult$status_code == "500"){
    print(paste("Unexpected Error in",olive$name[i]))
  }else{
    print("몰라요")
  }
  
}

olive$x <- x
olive$y <- y

3.1.5 올리브영 매장 분포 시각화

library(sf)
library(rgdal)
library(tmap)
library(leafem)

oliveSP <- SpatialPointsDataFrame(olive[, 4:5], olive)

tmap_mode("view")
tm1 <- tm_shape(oliveSP) + tm_dots()
lf <- tmap_leaflet(tm1)
addMouseCoordinates(lf)

3.1.6 정제 자료 저장

다음과 같이 ‘./data/Oliveyoung/’ 디렉터리에 데이터프레임을 저장하였습니다.

write_csv(olive, path = "./data/Datasets/Oliveyoung/Oliveyoung.csv", append = FALSE)

#test <- read_csv("./data/Datasets/Oliveyoung/Oliveyoung.csv")